Mini-batch Aware Regularization
概述
DIN 提出的频次感知正则化方法，只对当前 mini-batch 中出现的特征计算正则项，低频特征获得更强约束。
关键内容
- 问题背景 — CTR 预估模型中特征稀疏性导致过拟合。商品 ID 特征维度达数亿，大部分商品出现频次极低。标准 L2 正则化需在每次梯度更新时计算所有参数的正则项，计算量过于庞大。
- 核心公式 — $L_{\text{reg}} = \sum_{j=1}^{K} \sum_{m=1}^{B} \frac{\alpha_{mj}}{n_j} | w_j |^2$，其中 $n_j$ 是特征 $j$ 在整个训练集中的出现频次。
- 频次感知 — 出现频次低的特征获得更强的正则化约束（因为 $n_j$ 小），出现频次高的特征获得较弱的约束。直觉是：高频特征有充足训练样本学习可靠 Embedding，低频特征容易过拟合到少量样本上。
- 计算效率 — 只对当前 mini-batch 中实际出现的特征计算正则项，避免了对未出现特征的无效计算，在数亿参数规模下显著降低计算开销。
- 实验效果 — 不使用正则化的模型在第一个 epoch 后就严重过拟合。Dropout 能缓解过拟合但收敛较慢。Mini-batch Aware Regularization 在防止过拟合和加速收敛之间取得最佳平衡，带来 +0.0031 的绝对 AUC 提升。
- 后续影响 — "只关注当前 batch 中出现的特征"的思路后来被广泛应用于各种大规模稀疏模型的训练中。